Про графовые сетки в рекомендациях порадовало. Люблю, когда в рекомендашках прикручивают штуки, красивые сами по себе, а они еще и прокрашиваются в эксперименте

Сходил сегодня на Датафест в Яндексе, где были только доклады про внутренние продукты. Что послушал:

• Спрос Яндекс Лавки: смесь Prophet и бустингов с дальнейшим разделением на продукты, регионы и там, где это улучшало метрики. TimeGPT не используем, так как в Prophet легко добавить выходные дни.
• У очень многих людей (2% или 20%) есть две колонки Алисы, и пришлось научиться понимать, к какой обращаются, и ещё учесть, что может быть несколько пользователей (мультиаккаунтинг). Во второй задаче ожидаемо лучше всего работает, когда человек сам об этом говорит.
• Большой доклад по рекомендациям в Яндекс Лавке. Суть в том, что работает двухбашенный подход с трансформером user-items, косинусные расстояния, которые передаются в бустинги, но дополнительно туда добавляются и сами запросы пользователей, и текущая корзина. И вот они попробовали это всё заменить графовой сеткой (PinSage + TwHIN, где ребра товар-корзина), иииии.... метрики упали. Что не понял, это что при первом запуске бизнес метрики упали, и только когда модель дофитили на результатах 1го запуска - метрики позеленели, это бага или фича? Сейчас же до 20% GMV - за счет рекомендаций
• Экран отписки от Плюса – метрика средней выручки с сохранившихся на экране пользователей с вычетом затрат на сохранение. Ранжирование не работает, так как лучше всего сохраняет скидка на подписку, предиктивно с оттоком не начинали, всё на бустингах
• Активно используют VLM для нейро и оффлайн эмбедингов для поиска картинок. Но интересно что нейро пока не научились монетизировать

Если выше это доклады из бизнесовой секции, то еще была 2я техническая, но слишком техническая. Например «Быстрая аппроксимация матрицы Фишера с помощью факторизации Кронекера» 🫡

P.S. Конференция растет, сидр уже давно, а вот кальяны — это что-то новое. И даже был квиз. Доклады можно посмотреть и в записи потом, а так главное там это живое общение

Завтра в 18:00 буду на трансляции, приходите, накидывайте вопросов :)

Дорогие друзья!

Спешу сообщить, что серия эфиров на ютуб канале Продакт Аналитикс продолжается, а посему имею удовольствие анонсировать следующий эфир, который состоится уже завтра, 29 мая в 18:00 по московскому времени .

На этот раз нашим гостем будет многоуважаемый AI и ML эксперт, ex- CDO МТС, ex-CDS Яндекс. Такси , ex-ABBYY, автор канала Кантор AI, автор курсов MLInside , а также известный многим как автор специализации на Coursera ‘Машинное обучение и анализ данных’ от МФТИ и Яндекса Виктор Кантор 💎

О чем будем говорить:

• Куда ведут нас современные тренды AI/ML и как остаться на гребне волны

• С какими запросами приходит бизнес и какие софт- и хард-навыки нужны, чтобы стать классным топ-менеджером и удержаться на своей позиции

• Как пришла идея создания школы и чему актуально учить сейчас

• Насколько сильно отличается жизнь топ-менеджера и предпринимателя

Ваши вопросы , как и всегда, приветствуются, так что смело направляйте их в комментарии 👇

До встречи 🤗

Выложили первую часть разговора с Валерой Бабушкиным :)

Разговор у нас на мой взгляд не вполне типичный для видео в интернете: не хайпуем ни на чем, не устраиваем шоу, не цитируем мемы, не рассказываем ничего с карикатурными воплями «вау, ничего себе, представляешь!», в общем просто спокойно разговариваем. Возможно охваты от этого пострадают, но я получил большое удовольствие от общения, и надеюсь, многие из вас тоже получат удовольствие от видео.

Приятного просмотра :)

В тему Валеры: кто смотрел интервью, знает, что мы познакомились вживую лет семь назад на Матемаркетинге (конференция такая для менеджеров, аналитиков, ну и вообще много для кого еще). Матемаркетинг проходит осенью, а весной у тех же организаторов есть Aha Conf

Так вот в этом году она проходит уже сегодня и завтра, сегодня в 15:45 выступаю со своим докладом («Задачи, за которые компании платят сейчас и будут платить дальше») и оба дня будут доклады по ML на партнерских сессиях школы MLinside и Aha. Так что спустя семь лет я наконец-то иду на Матемаркетинг и Aha со своей собственной компанией как партнер, а не только как спикер :)))

После конфы поделюсь впечатлениями здесь. Надеюсь все пройдет норм, но ощущения немного как перед первым выступлением))

P.S.: Если вдруг кто-то хочет залететь в последний момент - промокод MLINSIDE дает скидку 20%

Есть классная возможность устроиться аналитиком в Яндекс за выходные

7–8 июня Яндекс проводит Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технических собеседования, а 8 июня познакомьтесь с командами и получите офер.

В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.

Узнать подробности и зарегистрироваться можно здесь.

Реклама. ООО "Яндекс". ИНН 7736207543

Важно помнить, что Product-Market Fit (PMF) можно не только найти, но и потерять.

Можно посмотреть на востребованность StackOverflow, главной площадки где разработчики спрашивают вопросы и получают ответы.

С выпуска ChatGPT, количество вопросов, которые люди задают кратно снизилось.

P.s. хотел отдельно поделиться классным графиком, но тут прилетел релевантный кадр с сегодняшнего выступления:)

🔥🔥🔥Никита как всегда прекрасен: одной цитатой из классики (в конце поста) учит эффективной работе с любым бизнес-заказчиком. Мотаем на ус!

Сегодня попал в Сити на один форум и вынужден был слушать в панели экспертования манагеров-каналий про рекомы, чуть руку не сломал борцовским приемом «фейспалм» 🤦‍♂️.

Все эти «на самом дела» и прочие «здравые смыслы», и «я 5 лет в отрасли и знаю что нужно пользователю» 🤦‍♂️.
Ни намека на метрики и A/B, зато вопросы. В духе: А как сделать так чтобы рекомендации были социально справедливыми? Знаете ответ? «А давайте снимать только хороший, патриотический контент».
Прям в стиле песни Захар Борисовича

Для таких вот у меня есть коробок вполне публичных примеров (а после беседы с пиар-службой кейсы теперь приходится фильтровать — заметили как их стало меньше в канале? — правда, большая часть просто ушла в отложку в 2026й)

Итак, канальи думали что SJM чем короче тем лучше, и вообще одной красной кнопки «купить» достаточно.
Ха раз
Ха второй раз

Добавление доп шагов к форме регистрации или к процессу покупки — увеличивает конверсии а не уменьшает! В их конкретных кейсах!

Другие канальи решили что если показывать что продукт популярен в соцсетях (social proof) то конверсия будет больше, но увы

А здесь вообще в одной статье собраны противоположные результаты : в одном продукте перфомят длинные тексты, в другом короткие. В одном продают простые заголовки, в другом сложные.

Пользователи охотнее делятся шортсами или длинными?
Надо проверять именно в вашем сервисе, а мб вообще в конкретной категории.
Смотрите с опаской на тех кто «знает как думает пользователь».

PS и самое вкусное, для тех кто не читал Ходжу Насреддина

На платформе Unbounce провели A/B-тест: Get MY free 30-day trial против Get YOUR 30-day trial

Результат, ожидаемо, на картинке к посту

Однажды Насреддин увидел толпу возле пруда, что рядом с мечетью. Подойдя поближе, он увидел, что в пруду тонет мулла. Люди кричали ему: "Дайте руку, почтеннейший, дайте руку! ", но тот только булькал и руки не протягивал. Тогда Насреддин подбежал и закричал: "Нате руку, почтеннейший, нате! " -- и мулла схватился. Когда люди спросили Ходжу, как ему удалось спасти муллу, он ответил:
-- Глупцы! Разве можно говорить мулле "Дайте"! Он понимает только "Нате"!

Вот такое потрясающее предложение получил вчера, а теперь еще и сегодня с другого аккаунта. Можете не перечитывать, вы не ошиблись: хотят денег с гостя 😂😂😂

Переслал друзьям поржать, так оказалось, что сейчас такая схема развода есть и некоторые блогеры ведутся и расстаются со своими честно заработанными потом и кровью)))

Появилась вторая часть моего разговора с Валерием Бабушкиным

Женя очень крутой, идите к нему работать :)

Про the illusion of thinking

Как говорится, не можешь в рисерч - хотя бы выложи датасет или бенчмарк и напиши о нем статью (что, заметим для протокола, не умаляет полезности бенчмарков❗️)

Когда РБК меня просили прокомментировать провал Apple Intelligence, я очень удивился и был сдержан в выражениях. Все же Apple последние лет 10 уж точно был компанией победившего маркетинга, а по технологиям в продуктах отставал от конкурентов на пару-тройку лет, однако все-таки в конечном счете делал откровенно удобные решения. Я вежливо объяснял, что ну не работает после релиза, и ладно, так бывает, будет еще десяток апдейтов и заработает, что бухтеть-то.

Но вот сегодня половина твиттера обсуждает яблочную статью The illusion of thinking и теперь у меня закралась определенная тревога по поводу дел с AI в Apple (не потому что статья не супер, а потому что нет более интересных от них и как будто идут по пути наименьшего сопротивления в поисках о чем написать). Статья в сухом остатке про «мы придумали еще один бенчмарк» и «нам не понравилось, как LRM с ним справляется». Бенчмарк в виде задачек про ханойские башни и волка-козу-капусту (и еще 2 типа заданий) с регулируемым уровнем сложности. Основная претензия к LRM - Large Reasoning Models - в том, что они, видите ли, не понимают какие-то концепты и рассуждают, а пытаются вспоминать и воспроизводить заученные паттерны (алё, вы в курсе какую задачу решают языковые модели?)))), судя по тому, как они справляются с бенчмарком. И, о ужас, мы с вами так далеки от AGI, гораздо дальше чем Альтман говорит инвесторам 🤡

Это конечно офигеть какая новость (конечно же нет 😐), однако как человек много работающий с обучением живых людей, могу сказать, что радикального отличия не вижу. Как только человек существенно выходит за пределы знакомых задач и знакомой ситуации, первым делом активируется воспроизведение знакомых паттернов и попытка из них собрать решение, словно Кай слово «вечность» из ледышек или инженер что угодно из говна, палок и синей изоленты. Только единицы начинают в незнакомой ситуации разбираться в основных концептах и правилах игры, а затем придумывать алгоритмы решения задачи, большинство же людей так делает только внутри той области, где уже более-менее комфортно разбирается.

Касательно нытья о том, что LRM не рассуждает, а воспроизводит паттерны, вспоминается один частый вопрос про возможности AI: “Могла бы LLM придумать квантовую механику или общую теорию относительности?”. Скорее всего, нет, по крайней мере в ближайшие годы наверняка нет (но буду рад оказаться неправ). Зато пересказывать и немного дописывать за другими, сразу владея последними публикациями человечества по любой теме - легко. И это тоже сильное преимущество, которого у людей нет, и которое даже с поисковиком наверстывается долго. Возможно, нам не стоит переоценивать себя и говорить, что такой интеллект «недостаточно general». Это скорее Гейзенберг и Эйнштейн исключения из нормального представления об интеллекте, а эрудированный попугай вполне себе general intelligence :)

Переслали мне корпоративную методику по управлению продуктовым портфелем

Итак, если бы пожарную команду создавали по этой методичке:

1. Ideation (оценка идеи)
Варианты:
За месяц не произошло ни одного пожара, потенциальных клиентов нет — закрываем продукт (KILL)
или
Один пожар был, но с погорельцев особо ничего взять — MERGE с водовозами, водовозы — жизнеспособный продукт с устойчивой клиентской базой и выраженной сезонностью.
Но перед тушением пожара необходимо будет производить расчет эффекта от тушения и сравнение с прямыми продажами воды клиентам
Или
Было несколько пожаров — когда пришли опрашивать клиентов получили люлей как поджигатели, глаз подбит 🤕, но зерно есть — PIVOT. Будем дистанционно (чтобы снова не получить) продавать палатки жертвам пожаров

2. Concept Validation — подтвердить жизнеспособность концепции
Продуктовый комитет затребовал дорожную карту по тушению пожаров на следующий год
Необходимо рассчитать точное время и место пожаров, затраты на тушение, экономический эффект
Ок, провернули фокус из финала The Incredible Burt Wonderstone и прошли дальше

3. Prototype Development
Сделали пожарную машину на деньги, выделенные на этапе 2.
Машиной сложно назвать — поэтому скорее получилась пожарная тачка.
Комитет отправил нас на Technical Pivot, без доп финансирования конечно же
На остатки финансирования получилось сделать лейку-поливалку

А дальше пришла летняя жара , и пол-города сгорело вместе с продуктовым комитетом 😂😂😂

PS: для тех кто не в курсе — частная пожарная охрана есть и вполне благополучно работает (например) и в нашей стране и в других

PPS: у любого инструмента есть своя область применения, даже у продуктовых методичек, и вот уж методички неплохо бы начинать с описания к чему их следует применять

https://vlmsarebiased.github.io/

Проблемы нейросеток со счетом это такой же мем как проблемы с количеством пальцев сколько-то поколений сеток назад. Однако сейчас в стандартных задачах сетки на ряд "счетных" вопросов отвечать все же могут. В примерах показано, насколько сильно эти ответы могут быть обоснованы априорным знанием из обучающей выборки, а не самим изображением.

Для оценки этого тестировали вопросы в духе "сколько ног у животного" на картинках с дорисованной лишней ногой или "сколько шахматных фигур на доске" на изображении без одной фигуры. Нейросеть отвечает то же, что и человек при очень беглом взгляде - не то что видит, а то, что знает про животное, про число шахматных фигур и т.д. Объект на изображении действительно идентифицируется, но ответы на счетные вопросы даются уже из общих знаний.

На всякий случай, если кто-то, посмотрев иллюстрацию, уже побежал искать супер-нейросетку GT: это Ground Truth 😁